Theo Cơ quan Tình báo Liên bang Pakistan (MRP), Jaish-e-Muhammad được tạo ra bởi những người có liên quan đến tổ chức Harkat al-Mujahidin. "Vào tháng 12 năm 1999, những kẻ khủng bố đã bắt giữ một chiếc máy bay của Hãng hàng không Ấn Độ được cho là bay từ Kathmandu đến Delhi và chuyển hướng nó Ở Kandahar, nơi ông được giám sát bởi Taliban Afghanistan và các quan chức Pakistan đóng tại sân bay. Sau khi họ cắt cổ họng hành khách, chính phủ Ấn Độ đã đồng ý với yêu cầu của họ và thả Maulan Masud Azhar, Ahmed Omar Said Sha Yha, Mushtaq Ahmed Zargar và ba thành viên của Harkat al-Mujahidin, người trước đây bị cầm tù ở Ấn Độ, đã được các tù nhân thả ra, và Masood Azhar được bầu làm người đứng đầu nhóm mới Jaish-e-Muhammad.

Các thành viên của Jaish-e-Muhammad chủ yếu là cựu thành viên của Harkat al-Mujahidin, liên kết với Taliban Afghanistan và Pakistan và al-Qaida. Các thành viên Jaish-e-Muhammad đang huấn luyện tại các trại ở al-Qaida Afghanistan. Hầu hết các thành viên của Harkat al-Mujahidin chuyển đến JeM vì không đủ kinh phí.

Chính phủ Ấn Độ cáo buộc Jaish-e-Muhammad có liên quan đến vụ tấn công năm 2001 nhằm vào quốc hội Ấn Độ. Vào tháng 12 năm 2002, bốn thành viên của JeM đã bị chính quyền Ấn Độ bắt giữ và đưa ra xét xử. Cả bốn người đều bị kết tội và một trong các bị cáo là Afzal Guru đã bị kết án tử hình.

Vào tháng 1 năm 2002, chính phủ của Tổng thống Pervez Musharraf đã cấm nhóm này. Đáp lại, JeM đổi tên thành Khaddam ul-Islam.